Existential Risks: Analyzing Human Extinction Scenarios

public.icon

from Differential Technology Development（DTD）とは何か？

「Existential risk（実存的リスク）」というタイトルで書かれたこの論文では、「技術の進歩を追い求めていった結果、その技術（核兵器, ナノテクロボット, 人工知能）を人間にはコントロールしきれなくなったら大きな被害を被ることになるかもしれない」「技術開発によって得られる利益もあるが、その技術を負の方向に使った場合（これはテクノロジー vs人間だけではなく、悪意のある人間がテクノロジーを活用して人類絶滅させることも定義に含められる）の対策が不十分である」（これをExistential risk（実存的リスク）と呼ぶ）ということについて課題の定義がされている。

「実存的リスク」というのは私たちが直感的に認識できるリスク（自動車事故や火山の噴火、地震など）とは違うカテゴリーに分類される。

このような災害は、ただちに被害を受けた人々にとっては悲劇的な出来事であるが、物事の全体像、つまり人類全体から見れば、最悪の大災害でさえ、生命の大海の水面に浮かぶさざ波にすぎない。人間の苦しみや幸福の総量に大きな影響を与えたり、私たちの種の長期的な運命を決定づけたりはしていない。

人類史の中で最初の「実存的リスク」とは原子爆弾であった。開発された当時は、爆発が大気を "発火 "させ、連鎖反応を引き起こすのではないかという懸念があった。しかし、これは現在では正しくない。連鎖反応は引き起こさないことがわかったからだ。

では、実存的リスクとは何か？次のような性質を持つと説明される:

実存的リスクに対する私たちのアプローチは、試行錯誤的なものであってはならない。エラーから学ぶ機会はない。何が起こるかを見て、損害を限定し、経験から学ぶという消極的なアプローチは通用しない。むしろ、先見的なアプローチをとらなければならない。そのためには、新しいタイプの脅威を予見する先見性と、断固とした予防行動をとり、そのためのコスト（道徳的、経済的）を負担する意志が必要である。

私たちは、他の種類のリスクを管理した経験から発展した制度や道徳規範、社会的態度、国家安全保障政策に必ずしも頼ることはできない。実存的リスクは別種のものである。私たちはまだそのような災害を目の当たりにしたことがないため、必要なほど深刻に受け止めることが難しいかもしれない

実存的リスクの削減はグローバルな公共財であり、市場からの供給が不十分である可能性がある。実存的リスクは誰にとっても脅威であり、国際的な次元で行動する必要があるかもしれない。国家主権の尊重は、重大な存立危機リスクに対する対策を講じないことの正当な言い訳にはならない